态势感知：未来十年

你能在旧金山率先看到未来。

在过去的一年里，这个城市的话题已经从百亿、千亿美元的计算集群，转向了万亿美元的集群。每隔六个月，董事会的计划书上就会多加一个零。在幕后，一场激烈的争夺战正在上演，为了 확보本十年剩余的所有电力合同，为了采购每一台可能获得的变压器。美国的大企业正准备投入数万亿美元，进行一场久违的工业力量大动员。到这个十年末，美国的电力生产将增长几十个百分点；从宾夕法尼亚的页岩气田到内华达的太阳能农场，数以亿计的 GPU 将嗡嗡作响。

AGI 竞赛已经开始。我们正在建造能够思考和推理的机器。到 2025/26 年，这些机器将超越大学毕业生。到这个十年末，它们将比你我更聪明；我们将拥有真正意义上的超级智能。一路上，半个世纪未见的国家安全力量将被释放，不久之后，“那个项目”将会启动。如果我们幸运，我们将与中国进行一场全方位的竞赛；如果不幸，那将是一场全面的战争。

现在每个人都在谈论人工智能，但很少有人对即将发生的事情有丝毫的了解。英伟达的分析师们仍然认为 2024 年可能接近顶峰。主流评论家们则固执地停留在“它只是在预测下一个词”的盲目中。他们只看到了炒作和商业常态；最多，他们认为这不过是又一次互联网规模的技术变革。

不久，世界将会觉醒。但现在，也许只有几百人，他们大多在旧金山和人工智能实验室里，具备了态势感知。无论命运如何奇特地安排，我发现自己也身处其中。几年前，这些人被嘲笑为疯子——但他们相信趋势线，这让他们正确地预测了过去几年人工智能的进步。这些人对未来几年的预测是否也正确，还有待观察。但他们是非常聪明的人——我见过的最聪明的人——而且他们正是构建这项技术的人。也许他们会成为历史上一个奇怪的注脚，或者，他们会像西拉德、奥本海默和泰勒一样载入史册。如果他们对未来的看法哪怕只有一点点正确，我们都将迎来一段疯狂的旅程。

让我来告诉你，我们看到了什么。

一、从 GPT-4 到 AGI：计算 OOMs

“听着。这些模型，它们只是想学习。你必须明白这一点。这些模型，它们只是想学习。”
— ILYA SUTSKEVER (约 2015 年)

我的核心论点是：到 2027 年，模型能够胜任 AI 研究员/工程师的工作，这一点惊人地可信。这并不需要相信科幻小说；它只需要你相信图表上的直线。我所做的，就是“计算 OOMs”（OOM = Order of Magnitude，数量级，\(10x = 1\) 个数量级）：审视 1) 算力，2) 算法效率，以及 3) “解禁”增益（Unhobbling Gains）这三个维度的趋势。通过追踪这些趋势，我们可以预测未来的图景。

从 GPT-2 到 GPT-4，我们用了大约四年时间，实现了一次从“学龄前儿童”到“聪明高中生”的认知飞跃。这背后是“有效算力”的巨大提升。这个“有效算力”不仅包括物理硬件的堆砌，还包括让我们能更聪明地使用这些硬件的算法进步。

这个巨大的进步可以分解为三个主要驱动力：

1. 物理算力（Physical Compute）: 我们投入了越来越多的 GPU 来训练模型。这就像给引擎增加了更多的燃料。从 GPT-2 到 GPT-4，物理算力大约增长了 3.5 到 4 个数量级（约 3000x - 10000x）。
2. 算法效率（Algorithmic Efficiencies）: 我们找到了更聪明的方法来训练模型，使得同样的算力能发挥出更大的效果。这就像改进了引擎的设计，让每滴燃料都能产生更多动力。这部分贡献了大约 1 到 2 个数量级的增长。
3. “解禁”增益（Unhobbling Gains）: 我们通过诸如 RLHF（人类反馈强化学习）、思维链（Chain of Thought）等技术，解除了模型原本存在的束缚，释放了其潜在能力。这就像给一个天才配备了笔记本和计算器，让他能将智慧更好地应用于实际问题。这部分将 AI 从一个原始的文本预测器，变成了一个可以对话的聊天机器人。

将这些因素叠加，我们看到从 GPT-2 到 GPT-4 之间，总的有效算力提升了大约 4.5 到 6 个数量级。展望未来四年（2023-2027），趋势依然强劲。我预计物理算力和算法效率将再次贡献大约 5 个数量级的增长。更关键的是，“解禁”增益将把模型从“聊天机器人”升级为能独立工作的“AI 代理”或“远程同事”。

然而，这条道路上有一个潜在的巨大障碍：数据墙（The Data Wall）。我们正在耗尽互联网上的高质量训练数据。前沿模型已经消化了大部分公开的文本和代码。这就像火箭即将飞出大气层，却发现前方的燃料补给站是空的。要突破这堵墙，我们需要全新的范式，例如高效的合成数据生成、自我对弈（Self-play）和更先进的强化学习方法。我相信，就像过去十年我们攻克了无数被认为是“不可能”的障碍一样，我们也将攻克数据墙。这甚至可能带来能力上更大的飞跃，因为我们可以用高质量的合成数据，而不是混杂的互联网数据，来“喂养”我们的模型。

二、从 AGI 到超级智能：智能爆炸

“所谓超智能机器，就是一种在所有智力活动上都远超任何最聪明人类的机器... 因此，第一台超智能机器是人类需要做的最后一项发明。”
— I. J. GOOD (1965)

AI 的进步不会在达到人类水平时停止。AlphaGo 在学习了人类顶尖棋谱后，通过自我对弈，迅速超越了所有人类棋手，下出了人类无法理解的“神之一手”。同样，AGI 一旦实现，我们将迅速迎来超级智能。这个过程甚至可能比我们想象的快得多，因为 AGI 可以自动化 AI 研究本身，从而形成一个剧烈的正反馈循环——我称之为“智能爆炸”。

想象一下，到 2027 年，我们不仅拥有了一个 AGI，而是凭借庞大的 GPU 集群，可以同时运行数百万个 AGI 实例。它们可以像一个庞大的研究团队一样，夜以继日地进行算法创新。目前，全球顶尖的 AI 研究员不过几百人，而这支 AI 大军的数量将是其十万倍以上，并且很快能以百倍于人类的速度思考和工作。

这样的自动化研究，很可能在一年之内，压缩人类需要十年才能完成的算法进步。这相当于在 AGI 的基础上，再实现一次从 GPT-2 到 GPT-4 级别的认知飞跃。这种飞跃将把我们带入一个全新的领域，诞生出在质和量上都远超人类的超级智能。当然，这个过程也存在瓶颈，比如实验所需的算力是有限的，或者人类的某些隐性知识难以被完全自动化。但这些瓶颈更有可能减缓爆炸的速度，而不是阻止它发生。

三、挑战

通往超级智能的道路并非坦途，它充满了前所未有的挑战。这些挑战不仅是技术性的，更是工业、安全乃至文明层面的。

万亿级集群竞赛

AGI 竞赛将催生一场史无前例的技术-资本加速。为了训练更强大的模型，我们需要建造规模空前的计算集群。这意味着数万亿的资金将涌入 GPU、数据中心和能源设施的建设。这不仅是代码和算法的竞赛，更是一场工业实力的比拼。

锁定实验室：AGI 的安全

我们正在开发的算法和最终的模型权重，将是美国最重要的国家机密。然而，目前领先的 AI 实验室在安全方面的投入，与他们所构建技术的重要性完全不匹配。毫不夸张地说，我们现在几乎是把通往 AGI 的钥匙，放在一个银盘子里递给我们的战略竞争对手。如果无法保证模型权重和核心算法的安全，我们投入的所有资源都将付诸东流。这要求我们必须以对待核武器机密的严肃态度，来重新审视和构建 AI 实验室的安全体系。

超级对齐 (Superalignment)

如何可靠地控制一个比我们聪明得多的 AI 系统，是一个悬而未决的技术难题。我们目前依赖的 RLHF 技术，在面对超级智能时将彻底失效，因为人类监督者无法理解和评估其行为。这就好比让一个小学生去批改博士论文。如果无法解决“超级对齐”问题，我们就有可能创造出无法控制的存在，其后果可能是灾难性的。这就像《魔法师的学徒》里的故事，我们召唤出了强大的力量，却不知道如何让它停止。

四、那个项目 (The Project)

随着 AGI 竞赛的白热化，国家安全机构的介入将是不可避免的。让一家旧金山的初创公司来开发超级智能，就像让 Uber 去主导原子弹的研发一样，是不可思议的。超级智能的巨大力量和潜在风险，决定了它最终必然会成为一个国家级项目。到 2027 或 2028 年，当 AGI 的轮廓清晰可见时，美国政府将从沉睡中醒来，启动某种形式的政府主导的 AGI 项目。没有一家创业公司能够独自承担起驾驭超级智能的责任。在某个机密的设施（SCIF）里，终局之战将会打响。